L'objectif de cette étude était d'évaluer les propriétés docimologiques d'une épreuve de lecture critique d'article à partir des notes d'une promotion d'étudiants sur 3 épreuves.

Les 125 étudiants d'une promotion de DCEM1 ont passé, dans l'année 2004-2005, 3 épreuves de lecture critique d'article. Les étudiants devaient résumer l'article et répondre à 6 à 8 questions. La reproductibilité a été étudiée à partir de la double correction en aveugle de la première épreuve et estimée par les coefficients de corrélation intraclasse (CCI). La validité externe de l'épreuve a été approchée par l'étude de la corrélation des notes obtenues aux 3 épreuves de lecture critique entre elles et avec les notes obtenues par les mêmes étudiants aux épreuves des 8 autres modules d'enseignement de la même année.

La fiabilité intercorrecteur apparaissait satisfaisante pour la note globale (CCI = 0,72), et pour la note de l'ensemble des questions (CCI = 0,73). Cependant, la fiabilité intercorrecteur était modérée pour la note du résumé (CCI = 0,53) et variable selon les questions (CCI de 0,29 à 0,86). Il existait une corrélation significative des notes entre les 3 épreuves comparées 2 à 2 (p < 0,001). La moyenne des notes obtenues aux 3 épreuves de lecture critique était significativement corrélée à la moyenne des notes des 8 autres modules (r = 0,60 ; p < 0,001).

Les propriétés métrologiques de l'épreuve de lecture critique apparaissent satisfaisantes et peuvent être améliorées en élaborant des grilles de correction plus précises.

The aim of this study was to assess the reliability and validity of tests assessing medical students' ability to read medical journal articles critically.

All third-year students at our medical school (n=125) took three tests between December 2004 and June 2005 as part of a program to teach critical appraisal of medical literature. Each test required students to write a 250-word structured abstract and to answer a set of 6 to 8 appraisal questions. Interrater reliability was assessed with the intra-class correlation coefficient for the first test. Validity was assessed 1) by calculating the correlation coefficient between the mean scores on the three critical appraisal tests and 2) by calculating the correlation coefficient between these tests and eight other tests in other subjects that the students took over the same period.

Interrater reliability was satisfactory for the overall score (ICC=0.72) and for the score for the questions alone (ICC=0.73). It was only moderate, however, for the structured abstract test (ICC=0.53) and varied markedly from question to question (ICC range: 0.29-0.86). Intertest correlations were all statistically significant (p<0.001) and the mean score on the critical reading tests was significantly correlated with the mean score on the tests for other subjects that year (r=0.60; p<0.001).

The validity and reliability of the tests of critical reading of medical literature are satisfactory but can be improved by developing more explicit scoring templates.